Dieser Audiobeitrag wird von der Universität Erlangen-Nürnberg präsentiert.

Was haben wir das letzte Mal gemacht? Wir haben uns diese Idee von rationalen Agenten als Framework, in das wir um die KI-Sachen einarbeiten, angeguckt.

Wichtig dabei war, dass wir uns einmal über Rationalität unterhalten haben und dann über Agenten und Umgebungen.

Wichtig, dass Sie jetzt für die Agenten, dass Sie sich ein Bild davon machen, dass tatsächlich Intelligenz in einer Umgebung stattfindet, in der Interaktion mit einer Umgebung.

Und das je nachdem, wie die Umgebung ist und je nachdem, wie die Grundausstattung der Agenten ist, andere Dinge rational sein können.

Das Interessante, also für mich Interessante an dem Rationalitätsframework ist, dass man doch mit einer Idee ein relativ breites Spektrum von Verhaltensweisen abdecken kann.

Grundidee, wir haben eine Umgebung, wir haben einen Agenten, der Agent kann die Umgebung wahrnehmen und kann auf die Umgebung einwirken.

Und für uns wichtig ist, wir können solche Agenten bauen.

Wir bauen im Wesentlichen, indem wir hier eine kognitive Architektur einsetzen und wir werden ein paar davon sehen, die im Wesentlichen von den Inputs der Funktion zu den Outputs vermittelt.

Das ist was wir machen. Das andere ist einfach gerade so das Gerüst außen drum.

Hier um die Inhalte dieser Kiste, da geht es in dieser Vorlesung.

Wir hatten uns Beispiele angeguckt und hatten gesehen, dass diese Rationalität, bei der wir den erwarteten Wert unserer Aktionen versuchen zu optimieren,

dass die viele Konsequenzen hat, von denen wir vorher schon dachten, dass sie zu KI gehören. Das sind die Charakteristika eines guten Erklärungsmodells.

Wir hatten über Autonomie gesprochen, wir hatten über Lernung gesprochen und so etwas.

Und waren dann irgendwann auf dieses Schema gekommen, dass man bei diesen Agenten einmal das Performancemaß, die Umgebung, die Aktuatoren und die Sensoren sich klar machen muss.

Wir hatten uns ein paar Beispiele angeguckt und durchgesprochen.

Dann hatten wir angefangen, die Umgebung zu klassifizieren, solche Fragen zu beantworten.

Können wir die Umgebung vollständig wahrnehmen oder nur partiell? Vollständig ist prima, dann wissen wir viel, können darauf agieren.

Je weniger wir wissen, desto schwieriger wird das Problem.

Ist die Umgebung deterministisch oder gibt es da Zufallseffekte? Deterministisch ist gut, Zufallseffekt ist realistisch.

Dann geht es um episodische oder sequenzielle Umgebungen.

Es ist im Wesentlichen eine rundenbasierte Umgebung, wo ich erstmal in aller Ruhe meine Aktion planen kann und niemand funkt mir dazwischen.

Oder muss ich aufpassen, dass ich schnell genug bin?

Wiederum, episodisch ist gut für uns, es macht es einfach, sequenziell ist eigentlich das, wie die Umwelt typischerweise ist.

Und wir hatten schon gesehen, dass einfache Dinge in einfachen Umgebungen ein realistisches Zeug haben.

In automatischen Taxi-Agenten muss man überall die schwere Version wählen.

Danach hatten wir uns die Agenten angeguckt und hatten einfache Reflex-Agenten.

Stellen Sie sich ein Geißeltierchen vor, das wenn es gegen die Wand stößt, dann legst du es rückwärts ein und versuchst es weiter nochmal.

Für gewisse Umgebungen ist das gut genug, für ein Informatikstudium ist das nicht genug.

Reine Reflex-Agenten reagieren immer nur auf den letzten Stimulus und können deswegen viele andere Sachen nicht, weil sie einfach nicht genug Gedächtnis haben.

Als nächste Schwierigkeitsstufe baut man irgendwie Gedächtnis ein.

Man macht das, indem man einen Weltzustand hat, über den auch reasoning gemacht wird, über den man eine Repräsentation, eine Annäherung des Wissens über die Welt im Zustand hat.

Das muss man natürlich hier kompliziert immer auf der Höhe der Zeit halten.

Hier passiert sehr viel mehr und dann kann man wie beim Reflex-Agenten auf den Zuständen, die man repräsentiert hat, also hat man mehr Freiheiten und kann bessere Programme bauen.

Dann gibt es den Fall der nützlichkeitsbasierten Agenten, wo man die Steuerung, was will ich bei den Aktionen machen, nicht mehr einfach nur nach Schema F macht, wenn dies, dann das, wenn das, dann hier, sondern dass die Agenten selber überlegen können, wie nützlich ist das, was ich mache.

Das kommt schon ein bisschen näher an, zumindest so wie ich glaube, dass die Steuerung ist.

Genau und schließlich und endlich hatten wir uns Lernen angeguckt und da war die Idee, dass man jeden des Performanzelement eines jeden Agenten, den wir bisher gesehen haben und auch alle anderen Verästelungen, die man sich jemals überlegen kann, kann man sozusagen von außen nochmal durch ein Lernelement steuern, die auf die Rechnung geht.

Die auf die Regeln, die den Zustandsupdate machen und auf alle diese Dinge zugreifen können.

Was man braucht ist einen externen Performance Standard, gegen den man sich vergleicht, gegen den man optimieren will und typischerweise nimmt man an, dass man sozusagen ein Element hat, was die momentane Performance des Performanzelements damit vergleicht, kritisiert, dann das Lernelement anschmeißt, was das Performanzelement tatsächlich verändert und dann möglicherweise noch so etwas.

So etwas wie ein Problemgenerator hat, der einem erlaubt, mit der Umgebung zu experimentieren.

Manchmal ist es schlau, über die Umgebung etwas rauszukriegen und erst dann agieren.

Weswegen Sie ja zum Beispiel studieren. Schlaue Idee, wenn man die Leute nicht gleich nach der Grundschule anfängt, programmieren zu lassen, sondern ihnen erstmal etwas beibringt.

Das hat sich als schlau herausgestellt. Und da gibt es da ganz viele Problemgeneratoren, die sind entweder bei Ihnen selbst eingebaut.

Ich mache das manchmal, Probleme zu generieren, sodass Sie dann plötzlich besser lernen können und solche Sachen. Also alle solche Sachen treten hier wieder auf.

Genau. Und als letztes hatten wir kurz darüber gesprochen, dass es im Wesentlichen wieder die gleiche Frage ist. Machen wir weak AI oder strong AI?

Und was wir hier mit den Agenten besprochen haben, sind im Wesentlichen Agenten, die sowohl für einzelne Dinge optimiert sein können.

Je nachdem, ob man, wie gesagt, richtig gut gemacht, wenn man nur im Schach gewinnt oder ob man komplexe Lebenssituationen hat, wo man sehr viele Sachen optimieren will.

Wenn man dann mit seinen Freunden Schach spielt, dann versucht man zu gewinnen, aber eigentlich weiß man, dass das sozusagen in the grand scheme of things gar nicht so wichtig ist.

Das heißt, man optimiert eine ganz andere Sache. Solche Sachen kann die KI tendenziell gut. Vor solchen haben alle Leute Angst.

Aber, das wird Sie vielleicht beruhigen, hier sind wir nicht so gut in der KI. Die beste Art und Weise, Agenten zu machen, die bei sowas gut sind, ist Kinder zu kriegen.